![arxiv：2503.00060v1 [cs.cv] 2025年2月27日](/simg/3/370629d7d9b2ce4b069c2351e653722e5336e9a3.webp)
机构名称：
¥ 1.0
视觉变压器（VIT）在全球建模中脱颖而出，但由于其注意力机制的二次计算复杂性，在资源受限设备上面临部署挑战。为了解决这个问题，我们提出了语义意识的聚类视觉变压器（SAC-VIT），这是一种非著作范围，以提高VIT的计算效率。SAC-VIT分为两个阶段：早期出口（EE）和语义意识聚类（SAC）。在EE阶段，处理下采样的输入信息以提取全局语义信息并生成初始推理结果。如果这些结果不符合EE终止标准，则将这些信息聚集到目标和非目标令牌中。在SAC阶段，目标令牌被映射回原始图像，裁剪和嵌入。然后将这些目标令牌与从EE阶段重复使用的非目标令牌结合使用，并在每个集群中应用注意力机制。具有端到端优化的两阶段设计，可降低空间冗余，并实现计算效率，从而显着提高所有VIT性能。广泛的实验证明了SAC-VIT的功效，减少了DEIT的62％，并实现了1.98倍的吞吐量，而无需损害。
arxiv：2503.00060v1 [cs.cv] 2025年2月27日
主要关键词
![arxiv：2503.00060v1 [cs.cv] 2025年2月27日PDF文件第1页](/bimg/9/90ede12eba6fe9622949c602902f7f5384558baa.webp)
![arxiv：2503.00060v1 [cs.cv] 2025年2月27日PDF文件第2页](/bimg/9/9989bb890fba3718db9c6fd6521bb89ddaf07b99.webp)
![arxiv：2503.00060v1 [cs.cv] 2025年2月27日PDF文件第3页](/bimg/8/81df52c9fccd74cc10103c23e2f0f7ce544cfc32.webp)
![arxiv：2503.00060v1 [cs.cv] 2025年2月27日PDF文件第4页](/bimg/7/7539d99f2e7e9ead3a878f5b853d7dcbc0f4b618.webp)
![arxiv：2503.00060v1 [cs.cv] 2025年2月27日PDF文件第5页](/bimg/1/10ead9716fe6367622b4f4bda1361e26922516e5.webp)
相关文件推荐
![arxiv：2503.01909v1 [cs.lg] 2025年2月28日](/simg/4/48e9f703c321b23474e2b95a016ebf345fed1602.webp)
![arxiv：2503.05760v1 [cs.cy] 2025年2月23日](/simg/7/700225cdbf1934f55a45b081fdaa77e1f2aab80b.webp)
![arxiv：2503.00169v1 [physics.optics] 2025年2月28日](/simg/9/958980efea57a01a345c5a8e193a6086783742dc.webp)
![arxiv：2503.01859v1 [CS.CL] 2025年2月23日](/simg/e/e006c620c4f74b25130b4f05227b44ef1de8c6d2.webp)
![arxiv：2503.15508V1 [CS.HC] 2025年1月27日](/simg/b/bddf05eecc0205570cdee8d56e7965d2b989e8f5.webp)
![arxiv：2503.04516v1 [cs.hc] 2025年3月6日](/simg/9/9f9cbbe565b0ca010f3628ce2b0ee4356426bf1f.webp)
![arxiv：2503.09317v1 [cs.cr] 2025年3月12日](/simg/e/eb3b08946ddfe0504714c79cb60692617b070324.webp)
![arxiv：2503.07465v1 [cs.cv] 2025年3月10日](/simg/a/af2a7dce29aefe4e4b6e956d62ebff4e79d71644.webp)
![arxiv：2502.14264v1 [cs.ai] 2025年2月20日](/simg/9/91d92c1b59721e27856344a080fb32d0b6678a23.webp)
![arxiv：2502.17010v1 [cs.cr] 2025年2月24日](/simg/d/dc3f4ff72e08d9d7acaab4a273e615f4f66a9332.webp)
![arxiv：2502.15663v1 [cs.ma] 2025年2月21日](/simg/d/d2200009d12d7cfef280a164f1216405cfc5d706.webp)
![arxiv：2503.09833v1 [cs.lg] 2025年3月12日](/simg/1/128387c25c3fb10fe1dd3c3a0aed6c201a08b820.webp)
![arxiv：2502.16847v1 [cs.ro] 2025年2月24日](/simg/6/63f14dad2a096fe9821c6cdfc01d8e9feaf787f8.webp)
![arxiv：2502.15833v1 [cs.lg] 2025年2月20日](/simg/5/59f5f13f4fdef74701885114f592a0a1f97497c3.webp)
![arxiv：2502.17136v1 [cs.ai] 2025年2月24日](/simg/5/56705891dbe9ccae786e3f054fb863b3f38e84f1.webp)
![arxiv：2502.10515v1 [cs.dc] 2025年2月14日](/simg/7/73ce24e70ca63d416c37d190906ce44868e5be9a.webp)
![arxiv：2502.06559v1 [cs.ai] 2025年2月10日](/simg/b/b29fa258289342d23ebb6559fba54d698491c4f9.webp)
![arxiv：2502.13593v1 [cs.lg] 2025年2月19日](/simg/5/5a25e74d4bf217233f1271ec9147c997c4f18e5f.webp)
![arxiv：2503.18461v1 [cs.cv] 2025年3月24日](/simg/5/5112f9b35601769fb8dd4c2015d29d146660efbe.webp)
![arxiv：2503.03618v1 [cs.dc] 2025年3月5日](/simg/4/40527f32c822586d79f6712a223542ee3654e7c0.webp)
![arxiv：2503.03142v1 [cs.lg] 2025年3月5日](/simg/8/8fcd56268fa422828971d1fed512e1dac169f271.webp)
![arxiv：2503.08960v1 [cs.cv] 2025年3月11日](/simg/3/3936df9217dd73de8ba2b35f36aa80fd0935ff57.webp)
![arxiv：2502.13080v1 [cs.lg] 2025年2月18日](/simg/7/78a73d211cfea610677f328c8a47b1c1de992e03.webp)